Thọ Sơn hiện là một trong những tàn tích cổ xưa nhất của nền văn minh từng xuất hiện ở Cao Hùng có niên đại từ 4.000 đến 5.000 năm trước. Nhiều thế lực quân sự đã thay nhau quản chế và đồn trú quanh vùng núi suốt nhiều thế kỷ, từ khi nhà Thanh áp đặt quyền kiểm soát Đài Loan và sau đó là giai đoạn đặt dưới quyền bảo hộ của Nhật Bản từ năm 1895 đến 1945. Trải qua nhiều biến động lịch sử, ngọn núi từng được gọi bằng nhiều cái tên khác nhau, thường gắn liền với một sự kiện đáng chú ý trong sự hình thành thành phố Cao Hùng. Quyển Đảo Di chí lược của Vương Đại Uyên có lẽ là thư liệu đầu tiên đề cập đến ngọn núi từ thế kỷ 14, với tên gọi "Trĩ Sơn" (峙山). Dưới thời nhà Minh, nạn uy khấu và cướp biển hoành hành ven bờ biển các tỉnh đông nam Trung Quốc. Những đầu lĩnh đã cập thuyền vào đảo Bành Hồ và vùng núi hiểm trở bờ tây nam Đài Loan để trốn tránh sự truy đuổi của quân triều đình, dãy núi Sài Sơn là một trong những điểm ẩn náu nổi tiếng. Bộ tộc thổ dân Bình Phố nơi đây đã vót nhọn tre và dựng thành lũy để bảo vệ nhà cửa khỏi sự cướp bóc, họ gọi công sự trên bằng phương ngữ Bình Phố là "Takao", phát âm gần giống với từ "Đả Cẩu" (打狗) trong tiếng Phúc Kiến, và từ đó cái tên này được những người Hán nhập cự chọn để gọi ngọn núi.

Có giai thoại kể rằng, vào năm 1565, thủ lĩnh cướp biển khét tiếng ở vùng eo biển Đài Loan là Lâm Đạo Càn đã tích trữ số của cải lấy được trong một hang động trên núi Đả Cẩu. Triều đình nhà Minh cử tướng Du Đại Du tróc nã Đạo Càn, ông đem toàn bộ số châu báu gồm 18 giỏ vàng giao cho người em gái là Lâm Kim Liên trông giữ và bỏ trốn sang vùng Pattani ở Xiêm. Dân gian tin rằng số vàng ấy vẫn được cất giấu đâu đó sâu trong núi, và từ đây ra đời cái tên "Mai Kim Sơn" (埋金山), tức núi chôn vàng, song song với tên gọi Đả Cẩu. Thời nhà Thanh, những tài liệu nghiên cứu địa lý chính thức viết tên núi thành "Đả Cổ" (打鼓, đánh trống), một phần nguyên do nằm ở hiện tượng sạc lở khá thường xuyên của ngọn núi vào mùa đông, khiến hoạt động giao thông đường thủy dưới chân núi gặp nhiều nguy hiểm, và những thủy thủ khi điều khiển tàu thuyền ngang qua phải liên tục đánh trống cầu thần linh ban phước lành để tai qua nạn khỏi. Về sau ngọn núi còn được gọi bằng cái tên đơn giản là "Cổ Sơn" (鼓山, cũng là tên một quận của thành phố Cao Hùng, nơi ngọn núi tọa lạc ngày nay), tuy cái tên Đả Cẩu vẫn thông dụng ở địa phương hơn.

Đến tận khi Nhật Bản chiếm đóng, ngọn núi này vẫn được gọi là Đả Cẩu, sau đó vào năm 1920 được đổi thành "Cao Hùng Nhai" (高雄街) rồi đến "Cao Hùng Sơn" trong năm tiếp theo. Năm 1923, Thiên hoàng Hirohito sang tham quan đảo và nghỉ lại trong một khách sạn dưới chân núi, được xây dựng theo lệnh của Tổng đốc Đài Loan. Bởi vì chuyến du ngoạn này trùng với dịp sinh thần của nhà vua, người ta ra lệnh đổi tên núi một lần nữa thành "Thọ Sơn" như một sự cung chúc. Năm Dân Quốc thứ 58 (1968), sau khi cuộc Nội chiến Trung Quốc kết thúc, lúc này cái tên Thọ Sơn đã được dùng suốt 40 năm, và để tưởng niệm ngày sinh của cố Tổng thống Tưởng Giới Thạch, Cục trường Cục Dân chính Trung Hoa Dân Quốc Trần Vũ Chương đã ký sắc lệnh đổi tên ngọn núi thành "Vạn Thọ Sơn" (萬壽山), đồng thời đổi tên sông Ái Hà thành "Nhân Ái Hà". Năm 1991, Hội đồng thành phố Cao Hùng cho đổi hai địa danh này trở lại tên cũ. Thọ Sơn cũng được dân địa phương quen gọi là núi Sài Sơn, trùng tên với dãy núi mà ngọn núi này là một phần trong đó, đặc biệt quen thuộc với những tiều phu chuyên chở gỗ ở đây đến xây dựng pháo đài An Bình dưới thời thuộc địa của Hà Lan. Bản thân người Hà Lan khi đặt chân lên hòn đảo vào thế kỷ 17, do ấn tượng với số lượng lớn khỉ thuộc chi macaca đã quyết định đặt tên núi là Apen Berg, và người phương Tây đến bây giờ vẫn quen gọi nó là núi Khỉ khi đến đây du lịch. Một cái tên ít phổ biến hơn là "núi Kỳ Lân" (麒麟山), chỉ được biết đến qua một số truyện kể văn hóa dân gian, theo đó tương truyền trên núi có nơi cư ngụ của một con kỳ lân.